﻿UNIVERSITATEA POLITEHNICA BUCUREȘTI FACULTATEA DE ELECTRONICĂ, TELECOMUNICAȚII ȘI TEHNOLOGIA INFORMAȚIEI IMPLEMENTAREA GESTIUNII MEMORIEI Nistorescu Andreea-Elena 431A Cuprins TOC \o "1-3" \h \z \u 1 Introducere PAGEREF Toc389342867 \h 3 2 Gestiunea memoriei PAGEREF Toc389342868 \h 3 2 1 Partitionarea fixa PAGEREF Toc389342869 \h 4 2 2 Partitionarea variabila PAGEREF Toc389342870 \h 4 2 3 Paginarea PAGEREF Toc389342871 \h 4 2 4 Segmentarea PAGEREF Toc389342872 \h 5 3 Gestiunea memoriei virtuale PAGEREF Toc389342873 \h 6 3 1 Paginarea la Cerere PAGEREF Toc389342874 \h 6 3 2 Algoritmi de inlocuire a paginilor PAGEREF Toc389342875 \h 7 4 Sistemul de Memorie Virtuala in Linux PAGEREF Toc389342876 \h 7 5 Gestiunea memoriei la Windows 10 5 Comparare intre Windows si Linux……………………………………12 7 Concluzii PAGEREF Toc389342878 \h 15 8 Bibliografie PAGEREF Toc389342879 \h 16 1 Introducere Procesele intr-un sistem impart procesorul si memoria principala cu alte procese Totusi, aceasta impartire a memoriei impune anumite dificultati Daca prea multe procese au nevoie de multa memorie, atunci cateva dintre ele nu o sa fie capabile sa functioneze Cand un program ramane fara spatiu, atunci apar mai multe probleme Memoria este de asemenea vulnerabila la coruptie Daca anumite procese, din neatentie, scriu in memorie in timp ce un alt proces scrie sau citeste din ea atunci acel proces poate sa dea gres intr-un mod necaracteristic In scopul de a gestiona memoria mult mai eficient si cu mai putine erori, sistemele moderne furnizeaza o abstractizare a memoriei principale cunoscuta ca si memorie virtuala Memoria virtuala este o interactiune eleganta intre exceptiile hardware, translatarea adreselor hardware, memoria principala, fisierelor de pe disc si a software-ului de kernel ce furnizeaza fiecare proces cu un spatiu de adresare mare, uniform si privat Cu un mecanism simplu, memoria virtuala furnizeaza trei functionalitati importante: * Foloseste memoria principala eficient prin tratarea ei ca si un cache pentru un spatiu de adrese stocat pe disc, pastrand numai zonele active in memoria principala, si transferand date intre disc si memorie cand este nevoie * Simplifica gestiunea memoriei prin furnizarea fiecarui proces cu un spatiu de adresa uniform * Protejeaza spatiul de adrese al fiecarui proces de la coruperea de catre celelalte procese 1 Gestiunea memoriei Fiecare algoritm de gesiune al memoriei necesita un suport hardware propriu, in continuare sunt prezentate metodele de partitionare, paginare si segmentare Pentru ca incarca programe oriunde in memorie, compilatorul trebuie sa genereze cod relocalizabil De asemenea trebuie sa fim siguri ca un program in memorie acceseaza numai zona destinata lui, si nu a altui program In cadrul alocarii de memorie, avem doua tipuri de alocari: alocare contigua si alocare non-contigua 1 Partitionarea fixa In aceasta metoda, memoria este divizata in partitii ale caror marime este fixa Sistemul de operare este plasat in zona de inceput a memoriei Procesele sunt organizate pe categori in concordanta cu zona necesara lor Avem o coada de procese pentru fiecare categorie in parte Cand un proces este selectat pentru a utiliza un spatiu de memorie acesta se duce in memorie si apoi concureaza pentru procesor Deoarece fiecare coada are o zona proprie, procesele pot concura simultan pentru memorie 1 Partitionarea variabila In aceasta metoda se mentine o tabela ce indica zonele folosite sau libere din memorie Initial toata memoria este considerat un bloc mare si este libera Cand un proces cere memorie, sistemul de operare cauta un bloc de memorie suficient de mare pentru acel proces, cand gaseste blocul, il marcheaza ca si ocupat Cand un bloc devine liber atunci SO-ul incearca sa il combine cu vecinii lui liberi Exista trei algoritmi pentru cautarea in lista de blocuri libere: * First Fit - aloca primele blocuri libere destul de mari pentru proces; * Best Fit - incearca sa gaseasca blocul cu dimensiunea cea mai mica dar suficient de mare pentru proces Acest algoritm necesita ca sistemul de operare sa caute tot timpul in lista sau sa o tina ordonata; * Worst Fit - aloca cel mai mare bloc destul de mare pentru proces; 1 Paginarea Paginarea permite unui proces sa aloce blocuri de memorie non-contigue Sistemul de operare imparte programele in pagini ce reprezinta blocuri de dimensiune mica si fixa Apoi imparte memoria fizica in cadre ( frames ) ce sunt blocuri egale in dimensiune cu dimensiunea paginii Sistemul de operare foloseste un tabel de pagini pentru a mapa paginile programului la cadrele memoriei Marimea paginii este definita de partea hardware Figura 3 Paginarea memoriei Ref: http://www c-jump com/CIS77/ASM/Protection/lecture html Fiecare acces la memorie trebuie facut prin tabela de pagini, in consecinta aceasta trebuie sa fie implementata intr-un mod cat mai eficient, astfel: * Folosirea registrelor dedicate - numai sistemul de operare poate modifica aceste registre, totusi daca o pagina este prea mare acesta metoda ar consuma prea multe registre; * Mentinerea tabelului de pagini in memoria principala - sistemul de operare va tine tabela de pagini in memorie, dar acesta este e metoda ce poate consuma timp Pentru fiecare referinta a memoriei logice, sunt necesare doua accesari de memorie, o data pentru tabelul de pagini pentru a afla numarul cadrului si o data pentru cadru * Folosirea registrelor asociative adresabile - acestea sunt registre mici, rapide, create special pentru a permite cautarea asociativa asupra continutului lor, adica toate registrele pot fi cautati intr-un singur ciclu simultan 1 Segmentarea In cadrul segmentarii, programele sunt impartite in segmente variabile ca dimensiune, in loc de pagini cu dimensiuni fixe Fiecare adresa logica este formata din numele segmentului si un offset din cadrul acelui segment Programele sunt segmentate automat, in general, de compilator sau asamblor De exemplu, un compilator de C, va creea segmente separate pentru: codul fiecarei functii, variabilele locale ale fiecarei functii si pentru variabilele globale 1 Gestiunea memoriei virtuale Politicile de gestiune a memorie prezentare anterior, necesita ca un intreg proces sa fie incarcat in memorie inante de executia acestuia Cu tehnica memoriei virtuale, se poate executa un proces ce este partial incarcat in memorie, astfel spatiul de adresare logic poate fi mai mare ca memoria fizica 1 Paginarea la Cerere Paginarea la cerere este cea mai intalnita metoda de gestiunea a memoriei virtuale E bazat pe modelul locality, prezentat pe scurt ar semnifica ca un program in curs de executie se muta de la o locatie la alta Locatia ( locality ) este definit ca un set de pagini folosite activ impreuna Un program este compus din cateva locatii diferite ce se pot suprapune Programele se bazeaza pe un dispozitiv de swaping, cunoscut ca si "backing store" sau disc Cand sistemul de operare decide sa porneasca un proces, acesta face "swap" numai cu o parte din acest nou proces ( de obicei cateva pagini ) in memorie Tabela de pagini a acestui nou proces este preparata si incarcata in memorie, si bitii valid/invalid ai tuturor paginilor ce sunt aduse in memorie sunt setati ca si valid Restul sunt setati ca invalid, acest lucru arata ca acele pagini nu au fost aduse in memorie Daca un proces in curs de executie incearca sa acceseze o pagina ce nu se afla in memorie, apare fenomenul de "page fault" si sistemul de operare incearca sa aduca acea pagina in memorie Procedura de page fault se executa astfel: * Blocheaza sistemul de operare * Salveaza registrele si starile proceselor pentru procesele curente * Verifica daca blocarea a fost cauzata din cauza unui page fault * Daca da, atunci determina locatia paginii respective de pe dispozitul de stocare ( backing store ) * Gaseste un cadru liber * Citeste ( swap in ) pagina respectiva in cadrul liber * Cand operatia este gata, reda registrele si starea proceselor de dinainte de blocaj * Modifica tabela de paginare pentru a evidentia ca s-a copiat pagina si ca acum se afla in memorie * Continua executia cu intructiunea ce a cauzat page fault 1 Algoritmi de inlocuire a paginilor Pentru a reduce din timpul alocat pentru page fault, un bit special poate fi asociat pentru fiecare pagina Un astfel de bit se numeste dirty bit si acesta este setat pe 1 de catre partea hardware atunci cand o pagina este modificata Cand dorim sa selectam o pagina pe care sa o inlocuim, verificam dirty bit-ul Daca este setat atunci insemna ca respectiva pagina a fost modificata si in acest caz trebuie sa scriem aceasta pagina in dispozitivul de stocare Altfel nu trebuie sa facem aceasta scriere, cu alte cuvinte nu este nevoie sa actualizam pagina Acesti algorimti determina cum va fi inlocuita pagina cand apare un page fault Scopul este acela de a avea cat mai putine page fault-uri * Algoritmul de Inlocuire Optima a Paginii (OPT) - In acest algoritm se inlocuieste pagina ce nu o sa fie folosita pentru mult timp * First In First Out (FIFO) - in acest algoritm, ideea este simpla, se alegem cea mai veche pagina * Cel mai putin folosit (LRU) - este aleasa pagina care nu a fost folosita de foarte mult timp 1 Sistemul de Memorie Virtuala in Linux Un sistem de memorie virtuala necesita o cooperare stransa intre partea hardware si kernel Linux mentine un spatiu virtual de adresare pentru fiecare proces in forma prezentata in figura de mai jos (Fig 2) In continuare se va prezenta zona de memorie virtuala destinata kernel-ului aflata deasupra stivei utilizator Memoria virtuala destinata kernelului, numita in continuare si memoria virtuala a kernel-ului, contine codul si structurile de date din kernel Anumite regiuni din aceasta memorie sunt mapate pe pagini fizice ce pot fi impartite intre toate procesele De exemplu, fiecare proces imparte codul kernelui si structurile de date globale Linux de asemenea mapeaza un set de pagini virtuale invecinate la setul corespunzator de pagini fizice Acest lucru ofera kernelului un mod favorabil de a accesa o locatie specifica in memoria fizica, de exemplu, cand are nevoie sa acceseze tabelele de paginare, sau faca operatii de scriere sau citire pe dispozitive ce sunt mapate pe o locatie particulara a memoriei fizice Alte regiuni ale memoriei virtuale a kernelului contin date ce difera pentru fiecare proces Exemplele includ tabele de pagini, stack-ul pe care kernelul il utilizeaza cand executa cod in contextul unui proces, si alte structuri de date variate ce tin evidenta organizarii curente a spatiului de adresare virtual Figura 2 Memoria virtuala a unui proces linux Ref: Randal E Bryant and David R O'Hallaron, Computer Systems: A Programmer's Perspective, 2nd Edition Linux organizeaza memoria virtuala ca si o coletie de zone ( numite si segmente ) O zona este o bucata contiguua de memorie virtuala existenta ( alocata ) ale carei pagini sunt relationate intr-un fel De exemplu, segmentul cod, segmentul de date, heap-ul, segmentul de librarie "shared", si stack-ul utilizator sunt toate zone distincte Fiecare pagina virtuala existenta este continuta intr-o zona, si fiecare pagina virtuala ce nu face parte dintr-o zona nu exista si nu poate fi referentiata de catre un proces Figura 2 evidentiaza structura de date a kernel-ului ce tine evidenta zonelor de memorie virtuala ale unui proces Kernel-ul mentine o structura de sarcini pentru fiecare proces din sistem Una dintre inregistrarile din structura de sarcini pointeaza la o structura de tip mm struct ce carcterizeaza starea curenta a memoriei virtuale Cele doua campuri de interes sunt pdg, ce pointeaza la baza nivelului 1 din tabela si mmap, ce pointeaza la o lista de vm area structs, fiecare caracterizand o zona din spatiul curent de adresare virtuala Cand kernelul ruleaza acest proces, stocheaza pgd-ul in registrul de control CR3 Figura 3 Cum organizeaza linux memoria virtuala Ref: Randal E Bryant and David R O'Hallaron, Computer Systems: A Programmer's Perspective, 2nd Edition Memoria virtuala simplifica gestiunea de memorie, care in schimb simplifica link-area, impartirea de date intre procese, alocarea de memorie pentru procese, si incarcarea programelor Sistemele moderne initializeaza bucati de memorie virtuala prin asocierea lor cu bucati de fisiere de pe disc, un proces cunoscut ca si mapare de memorie Maparea memoriei aduce un mecanism eficient pentru a imparti date, de a creea noi procese si de a executa aplicatii Programele pot sa creeze si sa stearga manual zone de pe spatiul de adresare virtual folosind functia nmap Totusi, multe programe se bazeaza pe un alocator dinamic de memorie cum ar fi malloc, ce gestioneaza memoria intr-o zona a spatiului de adrese virtuale numit heap Alocatori dinamici de memorie pot fi de doua tipuri, expliciti ( necesita ca aplicatiile sa elibereze blocurile de memorie ) sau impliciti ( elibereaza automat blocurile nefolosite ) 1 Gestiunea memoriei la Windows Capactitatea maxima de memorie fizica suportata de Windows variaza de la 2 GB la 2 TB, depinzand de versiunea de Windows Spatiul de adresare virtuala pentru fiecare proces poate fi mai mic sau mai mare ca memoria fizica total disponibila pe calculator Subsetul de adrese virtuale ale unui proces ce este rezident in memoria fizica este cunoscut ca si set functional ( numit in engleza working set ) Daca firele de executie ale unui proces incearca sa foloseasca mai multa memorie fizica comparativ cu cea care este disponibila in acel moment, sistemul muta o parte din continutul memoriei pe disc Stocarea fizica si spatiul de adrese virtuale ale fiecarui proces sunt organizate in pagini, unitati de memorie, a caror dimensiune depinde de calculator De exemplu pentru un sistem x86, marimea paginii este de 4 kb ( kiloocteti / kilobytes ) Pentru a mari flexibilitatea in gestiunea memorei, sistemul poate muta aceste pagini din memoria fizica in si din paginile stocate pe disc Seturile functionale ale unui proces sunt un set de pagini in spatiul de adresare virtuala ale proceselor ce se afla, in momentul actual, rezidente in memoria fizica Seturile functionale contin numai alocari de memorie paginabile ( exemple de memorie nepaginabila: Address Windowing Exentions, Large Page Allocations ) Cand un proces foloseste ca referinta o memorie paginabila ce nu se afla in acel moment in seturile functionale, apare o eroare de paginare ( page fault ) Sistemul de tratare a erorilor de paginare incearca sa rezolve aceasta eroare, si daca reuseste, pagina este adaugata in setul functional Exista doua tipuri de erori de paginare: eroare de paginare hard, in care problema se rezolva prin citirea continutului paginii de pe backing store, si eroare de paginare soft in care problema se poate rezolva si fara accesarea backing store Paginile pot fi inlaturate din setul functional in urma urmatoarelor actiuni: * Procesul reduce sau goleste setul functional apeland functiile SetProcessWorkingSetSize, SetProcessWorkingSetSizeEx sau EmptyWorkingSet * Procesul apeleaza functia VirtualUnlock pe zona de memorie ce nu este locked ( inchisa ) * Sistemul taie dintr-o pagina ce apartine seturilor functionale pentru face disponibila mai multa memorie * Sistemul trebuie sa inlature o pagina dintr-un set functional pentru a face loc pentru o pagina noua Daca mai multe procese impart o pagina, inlaturarea paginii din setul functional al unui proces nu afecteaza si pe celelalte procese Dupa ce o pagina este inlaturata din setul functional al tutror proceselor ce o utilizau, pagina devine o pagina de tranzitie Paginile de tranzitie raman in memorie pana cand pagina este fie referentiata inca o data de un proces fie reutilizata in alt scop ( de exemplu sa fie umpluta cu zero petru u alt proces ) Daca o pagina de tranzitie a fost modificata dupa ce a fost scrisa ultima oara pe disc, atunci pagina devine "dirty" si trebuie scrisa pe disc inainte de a fi reutilizata Toata memoria alocata de un proces folosind functiile de alocare ( HeapAlloc, VirtualAlloc, GlobalAlloc sau LocalAlloc ) este accesibila numai pentru proces Totusi, memoria dorita de un DLL ( Dynamic Link Library ) este alocata in spatiul de adresare a procesului ce a apelat acel DLL si nu este accesibila altor procese ce folosesc acelasi DLL Prevenirea Executiei Datelor ( Data Execution Prevention - DEP ) este o caracteristica a sistemului de protectie al memorei ce este contruit in sistemul de operare incepand cu Windows XP DEP permite ca sistemul sa marcheze una sau mai multe pagini ca fiind non-executabile Marcarea regiunilor ca si non-executabile arata ca in acea regiune de memorie codul nu poate fi rulat, lucru ce face mai complicat exploatarea numita buffer overrun Daca o aplicatie doreste sa ruleze cod de pe o zona protejata, aplicatia primeste o exceptie cu starea de cod STATUS ACCESS VIOLATION Daca trebuie sa ruleze cod dintr-o pagina de memorie, trebuie sa aloce si sa puna atributele specifice pentru protectia memoriei virtuale Memoria alocata trebuie sa fie marcata cu PAGE EXECUTE, PAGE EXECUTE READ sau PAGE EXECUTE WRITECOPY cand se aloca 1 Comparare intre Windows si Linux Ambele sisteme de operare au implementate sisteme morderne de gestionare a memoriei, si au in mod surprinzator multe in comun De exemplu structurile de date si cateva functii sunt destul de similare Cateva lucruri in comun ar fi: * Hardware Abstraction Layer (HAL) - Toate sistemele de operare au strat numit stratul de abstractizare hardware (HAL) ce face munca dependenta de sistem Acest lucru face portarea pe alte platforme mult mai usoara * Copy-on-write - Cand o pagina urmeaza sa fie impartita, sistemul foloseste o singura pagina ce va fi impartita printr-o copie la doua procese Aceste procese o sa utilizeze la comun copia respectiva Totusi, cand unul dintre procese doreste sa scrie in acea pagina, o copie private este facuta pentru acel proces * Background deamon - Exista un proces ce ruleaza pe fundal, care este invocat periodic pentru ca indeplini sarcini ca: page flushing, eliberarea memoriei nefolosite etc * Memory mapped Files - Un fisier poate fi "mapat" in memorie si apoi poate fi folosit prin instructiuni de memorie simple pentru citire/scriere * Inter-Process Comunication - Fisierele mapate in memorie pot sa fie apoi impartite intre procese astfel formand o metoda pentru comunicarea intre procese Structurile de date folosite de Windows NT sunt formate din liste cu legaturi tinute intr-o forma arborescenta Fiecare nod din arbore este denumit Descriptori de Adresa Virtuala ( Virtual Address Descriptors - VAD ) Fiecare VAD descrie o serie de adrese ce contin aceasi parametrii de protectie Arborele este de asemenea echilibrat, ceea ce inseamna ca inaltimea lui se doreste a fi minima, astfel timpul de cautare, pentru a cauta nodul dintr-o anumita locatie, o sa fie mic Fiecare descriptor poate sa fie marcat ca si ocupat, liber sau rezervat Rezervarea este folosita pentru cazuri speciale, de exemplu, un nod poate fi rezervat pentru stiva firului de executie cand acesta urmeaza sa fie creat Legatura cu radacina arborelui este tinuta in Process Control Block Linux implementeaza structurile de date ale memoriei virtuale intr-o maniera similara cu UNIX Aceste structuri reprezinta zone continue de memorie ce au aceasi parametri de protectie Structurile sunt organizate intr-o lista cu legaturi Aceasa lista este cautata atunci cand o pagina este gasita cu o locatie particulara Structura inregistreaza de asemenea seria de adrese de care se mapeaza, modul de protectie, daca este fixata in memorie, si directia (sus/jus) in care va creste De asemenea inregistreaza daca zona este publica sau privata Daca numarul de intrari creste mai mult ca un numar fixat, de obicei 32, lista este convertita intr-un arbore Sistemul de inlocuire al paginilor la Windows este sofisticat si complicat Windows foloseste clustered demand paging ( paginarea grupata la cerere ) pentru a pune la dispozitie pagini si algoritmul clock pentru inlocuirea paginilor In cadrul clustered demand paging, paginile sunt aduse in memorie numai cand este nevoie de ele De asemenea, in loc sa aduca o singura pagina, Windows, aduce un grup ( cluster ) ce contine 1-8 pagini, numarul lor depinzand de starea curenta a sistemului Cel mai important lucru la Sistemul de Paginare Windows este conceptul de working set ( set functional ) Setul functional este definit ca nivelul de memorie principala atribuit pe moment unui proces, deci setul functional este format din paginile lui ce se afla in memoria principala Marimea setului functional nu este constanta, astfel dezavantajele folosirii lor sunt foarte mici Algoritmul clock folosit de Windows este local Cand apare o eroare de paginare, si setul functional al proceselor cu eroare este sub un anumit nivel minim, atunci pagina este pur si simplu adaugata in setul functional Pe de alta parte, daca setul functional este mai mare ca orice alt nivel, atunci se reduce numarul setului functional Astfel algoritmul poate fi numit unul global Dar sistemul face si el anumite optimizari in functie de anumite situatii De exemplu, poate creste numarul de seturi functionale pentru procese ce cauzeaza multe erori de paginare, si scade numarul seturilor pentru acelea ce nu necesita multa memorie Windows are un fir de executie, numit Balance Set Manager, ce este invocat la fiecare secunda, si verifica daca este destul memorie libera Daca nu mai este, atunci invoca Working Set Manager Acesta incearca sa pastreze memoria libera deasupra unui anumit nivel Verifica seturile functionale ( working sets ) ale proceselor de toate tipruile si depinzand de cat de mult erori de paginare au generat, le scade sau le creste seturile Windows imparte lista de pagini in 4 liste: * Lista paginilor modificate * Lista paginilor in stare de asteptare * Lista paginilor libere * Lista paginilor zeroed ( marcate cu zero ) Tranzitiile intre aceste liste sunt manevrate de Working Set Manager si alte fire de executie deamon cum ar fi - swapper thread, mapped page writed si modified page writer Linux s-a bazat mai mult pe simplitate Pana la versiunea de kernel 2 2, linux a folosit algoritmul NRU pentru inlocuirea paginilor, dar pentru a rezolva mici probleme, la versiunea 2 4 a fost implementat algoritmul LRU Linux imparte paginile in patru liste: * Liste active * Liste inactive-dirty * Liste inactive-clean * Liste libere Deamonul de paginare in linux este kswapd, ce se trezeste la fiecare secunda si elibereaza memorie daca nu este destula disponibila Curatarea paginilor este facuta de deamonul bdflush, ce se trezeste pentru a curata si a trimite paginile dirty inapoi pe disc 1 Concluzii Ambele sisteme sunt moderne si au concepte teoretice foarte solide Windows avand parte de sustinere financiara si scopuri comerciale, a avut parte de mai mult efort in ceea ce priveste design-ul si dezvoltarea lui Si se poate spune ca alegerile in ceea ce priveste design-ul au ca tendinta viiteza In cazul Linux, decizia a fost luata pentru simplitate Astfel Windows s-a dezvoltat in ceva sofisticat si complex pe cand Linux a ales sa fie simplu, elegant dar totusi modern Rezultatele ne arata ca Windows desi ofera mai multe este mai greu de administrat si de imbunatatit din punctul de vedere al dezvoltatorilor, pe cand Linux desi nu are caracteristicile sistemului Windows, este mai usor de administrat si imbunatatit Dar pentru utilizatorul de rand, sistemul Windows va oferi o performanta mai ridicata cu erori mai putine 1 Bibliografie 1 Andrew S Tanenbaum, Sisteme de operare moderne, 3'rt ed , Byblos, 2004 1 http://www scribd com/doc/11400524/sisteme-de-operare-vol3 1 Randal E Bryant and David R O'Hallaron, Computer Systems: A Programmer's Perspective, 2nd Edition 1 http://msdn microsoft com/en-us/library/windows/desktop/aa366779%28v=vs 85%29 aspx 1 http://www eee metu edu tr/~halici/courses/442/Ch3%20Memory%20Management pdf 1 http://cursuri cs pub ro/~so/index php?section=Laboratoare&file=04 %20Gestiunea%20memoriei#Alocarea memoriei C3 AEn Window 